SoftMoE: Enrutamiento Suave y Diferenciable para Mezcla de Expertos en LLMs
SoftMoE introduce enrutamiento suave diferenciable en MoE, reduciendo expertos activos sin pérdida de rendimiento. Optimiza la asignación de recursos en LLMs.
#enrutamiento diferenciable